Inspired by progress in large-scale language modeling, we apply a similar approach towards building a single generalist agent beyond the realm of text outputs. The agent, which we refer to as Gato, works as a multi-modal, multi-task, multi-embodiment generalist policy. The same network with the same weights can play Atari, caption images, chat, stack blocks with a real robot arm and much more, deciding based on its context whether to output text, joint torques, button presses, or other tokens. In this report we describe the model and the data, and document the current capabilities of Gato.
translated by 谷歌翻译
There is an increasing need in our society to achieve faster advances in Science to tackle urgent problems, such as climate changes, environmental hazards, sustainable energy systems, pandemics, among others. In certain domains like chemistry, scientific discovery carries the extra burden of assessing risks of the proposed novel solutions before moving to the experimental stage. Despite several recent advances in Machine Learning and AI to address some of these challenges, there is still a gap in technologies to support end-to-end discovery applications, integrating the myriad of available technologies into a coherent, orchestrated, yet flexible discovery process. Such applications need to handle complex knowledge management at scale, enabling knowledge consumption and production in a timely and efficient way for subject matter experts (SMEs). Furthermore, the discovery of novel functional materials strongly relies on the development of exploration strategies in the chemical space. For instance, generative models have gained attention within the scientific community due to their ability to generate enormous volumes of novel molecules across material domains. These models exhibit extreme creativity that often translates in low viability of the generated candidates. In this work, we propose a workbench framework that aims at enabling the human-AI co-creation to reduce the time until the first discovery and the opportunity costs involved. This framework relies on a knowledge base with domain and process knowledge, and user-interaction components to acquire knowledge and advise the SMEs. Currently,the framework supports four main activities: generative modeling, dataset triage, molecule adjudication, and risk assessment.
translated by 谷歌翻译
The detection of state-sponsored trolls acting in information operations is an unsolved and critical challenge for the research community, with repercussions that go beyond the online realm. In this paper, we propose a novel AI-based solution for the detection of state-sponsored troll accounts, which consists of two steps. The first step aims at classifying trajectories of accounts' online activities as belonging to either a state-sponsored troll or to an organic user account. In the second step, we exploit the classified trajectories to compute a metric, namely "troll score", which allows us to quantify the extent to which an account behaves like a state-sponsored troll. As a study case, we consider the troll accounts involved in the Russian interference campaign during the 2016 US Presidential election, identified as Russian trolls by the US Congress. Experimental results show that our approach identifies accounts' trajectories with an AUC close to 99\% and, accordingly, classify Russian trolls and organic users with an AUC of 97\%. Finally, we evaluate whether the proposed solution can be generalized to different contexts (e.g., discussions about Covid-19) and generic misbehaving users, showing promising results that will be further expanded in our future endeavors.
translated by 谷歌翻译
有效的全球优化是一种广泛使用的方法,用于优化昂贵的黑盒功能,例如调谐参数,设计新材料等。尽管它很受欢迎,但鉴于其广泛使用,较少的关注来分析问题的固有硬度,重要的是要了解有效的全球优化算法的基本限制。在本文中,我们研究了有效的全球优化问题的最严重的复杂性,并且与现有的内核特异性结果相反,我们得出了一个统一的下限,以根据球的度量熵的指标,以实现有效的全局优化的复杂性在相应的繁殖内核希尔伯特空间〜(RKHS)中。具体而言,我们表明,如果存在确定性算法,该算法在$ t $函数评估中实现了任何函数$ f \ in s $ in s $ f \ in $ t $函数评估的次优差距,则有必要至少是$ \ omemega \ left(\ frac {\ log \ mathcal {n}(s(s(\ Mathcal {x})),4 \ epsilon,\ | \ | \ cdot \ cdot \ | _ \ iftty)} {\ log(\ frac {\ frac {r} {r} {\ epsilon {\ epsilon })}} \ right)$,其中$ \ mathcal {n}(\ cdot,\ cdot,\ cdot)$是覆盖号码,$ s $是$ 0 $ $ 0 $,RKHS中的RADIUS $ r $,并且$ s(\ mathcal {x})$是可行套装$ \ mathcal {x} $的$ s $的限制。此外,我们表明,这种下限几乎与常用平方指数核的非自适应搜索算法和具有较大平滑度参数$ \ nu $的垫子\'ern内核所获得的上限匹配,最多可替换为$ $ $ d/2 $ by $ d $和对数项$ \ log \ frac {r} {\ epsilon} $。也就是说,我们的下限对于这些内核几乎是最佳的。
translated by 谷歌翻译
对比度学习是视觉表示学习最成功的方法之一,可以通过在学习的表示上共同执行聚类来进一步提高其性能。但是,现有的联合聚类和对比度学习的方法在长尾数据分布上表现不佳,因为多数班级压倒了少数群体的损失,从而阻止了学习有意义的表示形式。由此激励,我们通过适应偏见的对比损失,以避免群集中的少数群体类别的不平衡数据集来开发一种新颖的联合聚类和对比度学习框架。我们表明,我们提出的修改后的对比损失和分歧聚类损失可改善多个数据集和学习任务的性能。源代码可从https://anonymon.4open.science/r/ssl-debiased-clustering获得
translated by 谷歌翻译
抗原加工途径的硅硅建模准确性对于实现个性化表位疫苗设计至关重要。这种途径的一个重要步骤是,蛋白酶体将疫苗降解为较小的肽,其中一些将由MHC复合物呈现给T细胞。虽然最近预测MHC肽的表现引起了很多关注,但鉴于高通量质谱的MHC连接学的最新进展,蛋白酶体裂解预测仍然是一个相对未探索的区域。此外,由于这种实验技术不允许识别无法分裂的区域,因此最新的预测因子会在训练时会产生合成的负样本并将其视为真正的负面样本,即使其中一些实际上可能是肯定的。因此,在这项工作中,我们提出了一个新的预测指标,该预测因素通过扩展的数据集和稳固的未标记学习理论基础进行了培训,从而实现了蛋白酶体裂解预测的新最新。改进的预测能力反过来又可以使更精确的疫苗开发提高基于表位的疫苗的功效。可以在https://github.com/schubertlab/proteasomal-cleavage-puupl上获得代码和预估计的模型。
translated by 谷歌翻译
本文提出了一个贝叶斯框架,用于构建非线性,简约的浅层模型,用于多任务回归。提出的框架依赖于这样一个事实,即随机傅立叶特征(RFF)可以通过极端学习机器将RBF内核近似,其隐藏层由RFF形成。主要思想是将同一模型的两个双重视图结合在单个贝叶斯公式下,将稀疏的贝叶斯极限学习机器扩展到多任务问题。从内核方法的角度来看,提出的公式有助于通过RBF内核参数引入先前的域知识。从极端的学习机的角度来看,新的配方有助于控制过度拟合并实现简约的总体模型(服务每个任务的模型共享联合贝叶斯优化中选择的相同的RFF集合)。实验结果表明,在同一框架内将内核方法和极端学习机器的优势相结合可能会导致这两个范式中的每一个范式独立地取得的性能显着改善。
translated by 谷歌翻译
从积极和未标记的(PU)数据中学习是一种设置,学习者只能访问正面和未标记的样本,而没有关于负面示例的信息。这种PU环境在各种任务中非常重要,例如医学诊断,社交网络分析,金融市场分析和知识基础完成,这些任务也往往本质上是不平衡的,即大多数示例实际上是负面的。但是,大多数现有的PU学习方法仅考虑人工平衡的数据集,目前尚不清楚它们在不平衡和长尾数据分布的现实情况下的表现如何。本文提议通过强大而有效的自我监督预处理来应对这一挑战。但是,培训传统的自我监督学习方法使用高度不平衡的PU分布需要更好的重新重新制定。在本文中,我们提出\ textit {Impulses},这是\ usewanced {im}平衡\下划线{p} osive \ unesive \ usepline {u} nlabeLed \ underline {l}的统一表示的学习框架{p}。 \下划线{s}削弱了debiase预训练。 Impulses使用大规模无监督学习的通用组合以及对比度损失和额外重新持续的PU损失的一般组合。我们在多个数据集上进行了不同的实验,以表明Impuls能够使先前最新的错误率减半,即使与先前给出的真实先验的方法相比。此外,即使在无关的数据集上进行了预处理,我们的方法也表现出对事先错误指定和卓越性能的鲁棒性。我们预计,这种稳健性和效率将使从业者更容易在其他感兴趣的PU数据集上获得出色的结果。源代码可在\ url {https://github.com/jschweisthal/impulses}中获得
translated by 谷歌翻译
几项作品已经研究了主观文本,因为它们可以在用户中引起某些行为。大多数工作都集中在社交网络中的用户生成的文本上,但是其他一些文本也包括对某些主题的观点,可能会影响政治决策期间的判断标准。在这项工作中,我们解决了针对新闻头条领域的有针对性情绪分析的任务,该领域由主要渠道在2019年阿根廷总统大选期间发布。为此,我们介绍了1,976个头条新闻的极性数据集,该数据集在2019年选举中以目标级别提及候选人。基于预训练的语言模型的最先进的分类算法的初步实验表明,目标信息有助于此任务。我们公开提供数据和预培训模型。
translated by 谷歌翻译
实用的图像分割任务涉及必须从嘈杂,扭曲和/或不完整的观察值重建的图像。解决此类任务的最新方法是使用分段共同执行此次重建,使用每个分段来指导彼此。但是,迄今为止,这项工作采用了相对简单的分割方法,例如Chan - VESE算法。在本文中,我们提出了一种使用基于图的分割方法进行联合重建分割的方法,该方法一直在看到最近的兴趣增加。由于涉及的矩阵尺寸较大而引起并发症,我们展示了如何管理这些并发症。然后,我们分析我们方案的收敛属性。最后,我们将此方案应用于``两个母牛''图像的扭曲版本,该版本是先前基于图的分割文献中熟悉的``两个奶牛''图像,首先是高度噪声的版本,其次是模糊的版本,在两种情况下都可以实现高度准确的细分。我们将这些结果与通过顺序重建分割方法获得的结果进行比较,发现我们的方法与重建和分割精度相比,甚至均超过了这些方法。
translated by 谷歌翻译